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Toetsing 

Het ministerie van Financiën heeft een beleidsdoorlichting uitgevoerd van de dienstverlening van 
de Belastingdienst aan belastingplichtigen 1 . Beleidsdoorlichtingen moeten voldoen aan de Regeling 
Periodiek Evaluatieonderzoek 2014 (RPE). Eén van de voorschriften van de RPE is dat beleids¬ 
doorlichtingen moeten worden getoetst door een onafhankelijke deskundige. Het ministerie van 
Financiën heeft prof.dr. Carl Koopmans gevraagd deze rol te vervullen. Hij is onderzoeksdirecteur 
van SEO Economisch Onderzoek en hoogleraar beleidsevaluatie aan de Vrije Universiteit. Con¬ 
form de eisen van de RPE heeft hij nooit verantwoordelijkheid gedragen voor de dienstverlening 
van de Belastingdienst, noch is hij betrokken geweest bij de totstandkoming daarvan. Hij heeft de 
beleidsdoorlichting niet uitgevoerd. Hij was lid van de klankbordgroep en heeft adviezen gegeven 
over de aanpak. Een concept van deze toetsing is voor commentaar voorgelegd aan de uitvoerders 
van de beleidsdoorlichting. 

Hoofdconclusies van de toetsing 

De beleidsdoorlichting bevat een goed leesbare beschrijving van de activiteiten van de Belasting¬ 
dienst, een overzicht van relevante prestatie-indicatoren en van de mate waarin diverse doelstellin¬ 
gen worden bereikt. Er is echter een kloof tussen de ambities van de RPE en deze beleidsdoorlich¬ 
ting. Veel RPE vragen konden niet of niet eenduidig worden beantwoord. De beleidsdoorlichting 
maakt aannemelijk dat de dienstverlening van de Belastingdienst redelijk doeltreffend is wat betreft 
klanttevredenheid. Effecten op compliance worden in de doorlichting aannemelijk gemaakt, maar 
niet met indicatoren beschreven. Wat betreft de doelmatigheid (efficiency) beperkt de beleidsdoor¬ 
lichting zich tot beschrijvende informatie en enkele aanbevelingen. Hierbij speelt onder meer een 
rol dat de kosten van de dienstverlening slechts in beperkte mate konden worden uitgesplitst; dit 
is een belangrijk verbeterpunt. 

Criteria 

De RPE kent 18 criteria waaraan beleidsdoorlichtingen moeten voldoen. Deze toetsing concen¬ 
treert zich met name op een selectie van criteria. Een kort oordeel over de mate waarin de beleids¬ 
doorlichting aan de andere RPE criteria voldoet, is opgenomen in een bijlage bij deze notitie. 

De kern van de beleidsdoorlichting is de vraag welke effecten de dienstverlening van de Belasting¬ 
dienst heeft. Daarbij kunnen drie niveaus van ‘hardheid’ worden onderscheiden: een effect is aan¬ 
getoond, aannemelijk gemaakt of beschreven (als hypothese). In deze toetsing wordt een oordeel 
gegeven over de vraag welk niveau in de beleidsdoorlichting is bereikt. 


1 Beleidsdoorlichting Dienstverlening, Versie 1.0, november 2015. 
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Heldere toelichting op de wijze waarop doeltreffendheid is onderzocht 

De beleidsdoorlichting is helder en toegankelijk geschreven. De doeltreffendheid wordt met name 
onderzocht aan de hand van indicatoren van klanttevredenheid. Daarnaast beschrijft het rapport 
mogelijke verbanden tussen veranderingen in prestaties en andere factoren. Zo wordt de gedaalde 
bereikbaarheid van de Belastingtelefoon toegeschreven aan de toegenomen vraag, pieken in de 
vraag en problemen met de IT-systemen. 

Compliance is een belangrijk doel van de dienstverlening. De prestatie-indicatoren meten percep¬ 
ties en intenties, maar niet het daadwerkelijk gedrag. De beleidsdoorlichting geeft aan dat het lastig 
zo niet onmogelijk is een direct verband te leggen tussen de inzet van de Belastingdienst en de mate 
waarin burgers compliant zijn. Wel wordt dit verband in de beleidsdoorlichting aannemelijk ge¬ 
maakt. Indicatoren van compliance ontbreken in de beleidsdoorlichting. 

Beleidstheorie 

Het rapport bevat geen expliciete beleidstheorie. Zowel de dienstverlenende activiteiten van de 
belastingdienst als diverse prestatie-indicatoren worden goed beschreven, maar over het veronder¬ 
stelde oorzakelijke verband hiertussen worden geen specifieke hypothesen geformuleerd. 

Veranderingen als gevolg van de dienstverlening 

De beleidsdoorlichting betreft een relatief korte periode: 2010 t/m 2014. Gedurende deze periode 
lijkt de dienstverlening op hoofdlijnen hetzelfde te zijn gebleven (wel is het gebruik van digitale 
kanalen toegenomen). De beleidsdoorlichting bevat geen informatie over veranderingen als gevolg 
van de dienstverlening. Wel wordt de toename van het aantal digitale aangiften in de beleidsdoor¬ 
lichting mede toegeschreven aan beleid van de Belastingdienst om dit te stimuleren. Bij deze toe¬ 
name spelen echter tegelijk maatschappelijke ontwikkelingen een rol. 

Veranderingen conform beleidsdoelstelling 

De beleidsdoorlichting laat zien welke prestatie-indicatoren voldoen aan gestelde normen, en welke 
niet. Zo blijkt dat de ‘klanten’ over het algemeen neutraal tot tevreden zijn over de dienstverlening 
van de Belastingdienst. Maar ook dat de belastingdienst er minder goed in slaagt om bezwaarschrif¬ 
ten tijdig af te handelen. 

Duidelijkheid en volledigheid hoofdbevindingen 

De hoofdconclusie wordt geformuleerd als: “Geconcludeerd kan worden dat — afgaande op de huidige nor¬ 
men en beschikbare cijfers - de kanalen, middelen, instrumenten en processen die ten behoeve van de dienstverlening 
door de Belastingdienst worden ingezet tenminste adequaat, maar in de meeste gevallen goedfunctioneren.” 

Eén van de bevindingen is: “Als het gaat om hetfunctioneren en de dienstverlening van Belastingdienst in het 
algemeen, dan oordeelt men neutraal tot tevreden en geeft men de Belastingdienst een magere voldoende. ” 

Het eerste citaat is positiever dan het tweede citaat. Het eerste citaat betreft het halen van streef¬ 
waarden, het tweede citaat gaat over de beleving van de ‘klant’. Mogelijk bieden de streefwaarden 
geen complete afspiegeling van alle aspecten die voor de ‘klant’ belangrijk zijn. 
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Conclusies gedekt door onderzoeksbevindingen 

Het oordeel van de ‘klanten’ ( neutraal tot tevreden, magere voldoende) past beter bij het geheel van de 
resultaten dan de hoofdconclusie ( tenminste adequaat, maar in de meeste gevallen goed). De afhandeling 
van bezwaarschriften lijkt in de hoofdconclusie niet mee te wegen. 

Volledigheid beantwoording onderzoeksvragen 

De beleidsdoorlichting geeft veel informatie over inputs en outputs van de dienstverlening van de 
belastingdienst, en beschrijft mogelijke verbanden daartussen. Het is aannemelijk dat de klantte¬ 
vredenheid in belangrijke mate wordt bepaald door de kwaliteit van de dienstverlening. De uitkom¬ 
sten geven dus een indruk van de doeltreffendheid. 

Met betrekking tot de doelmatigheid (efficiency) geeft de beleidsdoorlichting globale informatie 
over kosten en fte’s; en wordt geconstateerd dat geen informatie beschikbaar is om te benchmar- 
ken. Er zijn indicatoren nodig van de kosten per eenheid ‘product’, met name de kosten per afge¬ 
handeld informatieverzoek, onderscheiden naar typen informatieverzoeken (telefoon, balie, web¬ 
site) en soorten klanten (particulieren, ondernemers, belastingconsulenten). Daarmee kunnen rela¬ 
tief dure activiteiten worden geïdentificeerd, hetgeen aanknopingspunten kan bieden voor efficien¬ 
cyverbetering. Om dit te kunnen doen zijn verder uitgesplitste kosten nodig. De beleidsdoorlich¬ 
ting geeft aan dat weinig cijfers over de kosten aanwezig zijn. Dit is een belangrijk verbeterpunt. 

De 20% besparingsvatiant is ingevuld, maar met een beperkt aantal besparingsmogelijkheden. Via 
de ‘Investetingsagenda’ zijn al flinke besparingen ingeboekt. Het grootste deel van de nieuwe mo¬ 
gelijke besparingen betreft sluiting van de Belastingtelefoon in de avond en het beperken van de 
capaciteit voor baliebezoeken. Deze opties gaan ten koste van de kwaliteit van de dienstverlening. 
Vereenvoudiging van regelgeving wordt genoemd maar deze besparing is niet gekwantificeerd. Hier 
ligt scope voor vervolgonderzoek: zijn er specifieke regels die tot veel vragen van belastingplichti¬ 
gen leiden? Een mogelijke andere optie is om de efficiency van de werkprocessen van de dienst¬ 
verlening onder de loep te (laten) nemen. 

Aanbevelingen 

• Voer gerichte experimenten uit om in de toekomst betere evaluaties uit te kunnen voeren. Be¬ 
schouw elke wijziging in de inzet van dienstverlening als een kans om effecten te evalueren. 

• Zorg voor goede informatie over de kosten van de dienstverlening, niet alleen uitgesplitst naar 
kanalen (balie, telefoon, website) maar ook naar doelgroepen en soorten vragen. 

• Geef vervolg aan de aanbeveling in de beleidsdoorlichting om data over klanttevredenheid te 
koppelen aan gegevens over belastingplichtigen. Dit kan bijdragen aan meer zicht op doelgroe¬ 
pen, problemen en oplossingen. 

• Werk de besparingsmogelijkheden verder uit. 
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Bijlage Korte beoordeling van de overige RPE criteria 


Algemene criteria voor validiteit en betrouwbaarheid 

1. Het rapport geeft een weergave van relevante beleidsmatige achtergronden en uitgangs¬ 
punten, als ook van het institutionele krachtenveld waarin het evaluatieobject opereert. 

Oordeel: Het rapport bevat een beschrijving van de ontwikkeling van de dienstverlening van de Belastingdienst waarin 

(,reacties op) maatschappelijke en technologische ontwikkelingen een hoofdrol spelen. 

2. Het rapport geeft een uiteenzetting van de beleidstheorie met de veronderstellingen over 
causale en finale relaties die aan onderzochte interventies ten grondslag liggen. 

Oordeel: Op dit criterium wordt ingegaan in de hoofdtekst van dege notitie. 

3. De probleemstelling formuleert kernachtig waarop de evaluatie is gericht. De onderzoeks¬ 
vragen vormen samen de operationalisering van de probleemstelling. 

Oordeel: de probleemstelling wordt summier geschetst in paragraaf 1.2 van de beleidsdoorlichting. 

4. De onderzoeksvragen geven een praktische uitwerking aan de wijze waarop maatstaven 
als doelmatigheid en doeltreffendheid zijn geoperationaliseerd. 

Oordeel: De uitwerking is praktisch, met name via een uitvoerig beeld van concrete prestatie-indicatoren in hoofdstuk 

3 . 

5. De methodologische verantwoording: 

a. geeft een omschrijving en begrenzing van de verzameling (operationele populatie) van 
onderzoekseenheden (naar type, doelgroep, locatie, periode, instelling, financiële omvang, 
enz.) waarop de onderzoeksresultaten betrekking hebben. 

b. beschrijft de mate aan waarin de indicatoren die op de verschillende resultaatniveaus zijn 
gedefinieerd en, als specifiek, meetbaar en tijdgebonden kunnen worden beschouwd. 

c. geeft een toelichting op de zorgvuldigheid waarmee de gebruikte gegevensbronnen zijn 
geselecteerd, alsmede de nauwkeurigheid en transparantie waarmee gegevens uit die bron¬ 
nen worden geanalyseerd en verwerkt; 

d. geeft informatie over de mate waarin de conclusies uit de onderzochte steekproef c.q. van 
de uitgevoerde case studies gelden voor de hele onderzoekspopulatie. 

e. geeft een beschrijving en rechtvaardiging van de gehanteerde onderzoeksmethoden en — 
technieken; 

f. informatie over de mate waarin gegevens zijn gecontroleerd, en verschillende bron¬ 
nen/methoden zijn gebruikt om informatie over dezelfde kenmerken en verschijnselen te 
verzamelen; 

g. vermeldt (eventuele) tekortkomingen van het onderzoek en beperkingen aan de generali¬ 
seerbaarheid van de bevindingen en conclusies; 

Oordeel: l Por gover dege eisen van toepassing gijn, is er in dege beleidsdoorlichting op hoofdlijn en aan voldaan. 
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6. Het rapport geeft aan op welke wijze de kwaliteitscontrole is uitgevoerd (interne kwali¬ 
teitscontrole, begeleidings- of stuurgroep, inschakeling van onafhankelijke externe des¬ 
kundigen). Oordeel: dit staat beschreven in paragraaf 1.5 van de beleidsdoorlichting. 

7. De conclusies worden daadwerkelijk gedekt door de onderzoeksbevindingen. 

Op dit criterium wordt ingegaan in de hoofdtekst van deze notitie. 

Criteria voor doeltreffendheidsonderzoek 

8. De evaluatie geeft een heldere toelichting op de wijze waarop de doeltreffendheid is on¬ 
derzocht en heeft daarbij gebruik gemaakt van een valide aanpak voor de meting. 

Op dit criterium wordt ingegaan in de hoofdtekst van deze notitie. 

9. Zijn de veranderingen in effectvariabelen gemeten ten opzichte van de beginsituatie? 
Oordeel: De beleidsdoorlichting laat veranderingen %ien in de periode 2010 // m 2014. De (impliciete) beginsituatie 
is dus de situatie van 2010. 

10. Zijn de waargenomen veranderingen het gevolg van de activiteit (zie ook: is beleid de 
oorzaak van het effect)? 

Op dit criterium wordt ingegaan in de hoofdtekst van depe notitie. 

11. Zijn deze waargenomen veranderingen en veranderingen conform doelstellingen van het 
programma/project/beleidsdoelstelling? 

Op dit criterium wordt ingegaan in de hoofdtekst van deze notitie. 

Criteria voor doelmatigheidsonderzoek 

12. De evaluatie geeft een heldere toelichting op de wijze waarop de doelmatigheid is onder¬ 
zocht en heeft daarbij gebruik gemaakt van een valide aanpak voor de meting. 

Oordeel: De beleidsdoorlichting geeft helder aan hoe de doelmatigheid is onderzocht. Op de beperkingen van het 
onderzoek op dit punt wordt ingegaan in de hoofdtekst van deze notitie. 

13. De conclusies over doelmatigheid worden ondersteund door de bevindingen. 

Oordeel: de conclusies over doelmatigheid zijn zeer terughoudend. Ditpast bij de zeer beperkte beschikbare informatie 
over doelmatigheid. 

14. De conclusies over doelmatigheid geven antwoord op vragen als: 

• zijn inputs ingezet tegen zo laag mogelijke kosten? 

• zijn activiteiten op eenvoudige wijze uitgevoerd? 

• zijn overheadkosten zo laag mogelijk gehouden? 

• is duplicatie vermeden? 

• zijn conflicten bij uitvoering tijdig opgelost/voorkomen? 

• Is het programma doelmatig in vergelijking met andere interventies die hetzelfde doel 
hebben? 


SEO ECONOMISCH ONDERZOEK 


5 




Oordeel: op depe vragen wordt in de beleidsdoorlichting geen antwoord gegeven ah gevolg van beperkte beschikbare 
kosteninformatie. Zie voor een toelichting de hoofdtekst van depe notitie. 


Criteria voor bruikbaarheid 

15. Helderheid over het doel van de evaluatie, waarvoor de onderzoeksuitkomsten zullen wor¬ 
den of zijn gebruikt. 

Oordeel: het doel wordt in paragraaf 1.1 primair beschreven als voldoen aan de RPE. Hoofdstak 5 (Conclusies en 

aanbevelingen) laat pien waar de uitkomsten van het onderhoek voor kunnen worden gebruikt. 

16. Duidelijkheid en volledigheid waarmee in het evaluatierapport en de samenvatting ervan 
de essentie van het onderzoek, en vooral de hoofdbevindingen, zijn weergeven. 

Oordeel: De beleidsdoorlichting is helder geschreven; de hoofdbevindingen komen duidelijk naar voren. 

17. Volledigheid waarmee alle onderzoeksvragen door de conclusies worden beantwoord. 

Oordeel: Een deel van de vragen kon niet worden beantwoord door een gebrek aan gegevens. Zie voor een toelichting 

de hoofdtekst van depe notitie. 

18. Praktische uitvoerbaarheid van gepresenteerde aanbevelingen en de mate waarin deze bin¬ 
nen het bereik liggen van betrokken verantwoordelijke beleidsmakers. 

Oordeel: de beleidsdoorlichting bevat een beperkt aantal aanbevelingen. Dep,e aanbevelingen pijn praktisch uitvoer¬ 
baar door de betrokken beleidsmakers. 
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